变压器的注意机制有效地从输入序列中提取相关信息。然而，自我注意力的二次复杂性W.R.T序列长度会产生沉重的计算和记忆负担，尤其是对于长序列的任务。现有的加速器在这些任务中面临性能退化。为此，我们建议Salo为长序列提供杂交稀疏注意机制。Salo包含一个数据调度程序，将混合稀疏注意模式映射到硬件和空间加速器上，以执行有效的注意力计算。我们表明，与GPU和CPU实施相比，Salo平均达到17.66 X和89.33倍的速度，即典型的工作负载，即Longformer和VIL。

本文回顾了关于压缩视频质量增强质量的第一个NTIRE挑战，重点是拟议的方法和结果。在此挑战中，采用了新的大型不同视频（LDV）数据集。挑战有三个曲目。Track 1和2的目标是增强HEVC在固定QP上压缩的视频，而Track 3旨在增强X265压缩的视频，以固定的位速率压缩。此外，轨道1和3的质量提高了提高保真度（PSNR）的目标，以及提高感知质量的2个目标。这三个曲目完全吸引了482个注册。在测试阶段，分别提交了12个团队，8支球队和11支球队，分别提交了轨道1、2和3的最终结果。拟议的方法和解决方案衡量视频质量增强的最先进。挑战的首页：https：//github.com/renyang-home/ntire21_venh

激活函数是元素的数学函数，在深神经网络（DNN）中起着至关重要的作用。已经提出了许多新颖和复杂的激活功能来提高DNN的准确性，但在训练过程中还可以通过反向传播消耗大量记忆。在这项研究中，我们提出了嵌套的正向自动分化（正向AD），专门针对用于记忆效率的DNN训练的元素激活函数。我们在两个广泛使用的深度学习框架（Tensorflow和Pytorch）中部署了嵌套的AD，分别支持静态和动态计算图。我们的评估表明，在相同的记忆降低率下，嵌套的前AD嵌套将记忆足迹降低到1.97倍，比基线模型降低了20％。

量化是一种降低DNN模型的计算和记忆成本的技术，DNN模型越来越大。现有的量化解决方案使用固定点整数或浮点类类型，这些量子的好处有限，因为两者都需要更多位以保持原始型号的准确性。另一方面，可变长度量化使用低位量化对正常值和高精度的分数对异常值的一部分。即使这项工作带来了算法的好处，但由于长度的编码和解码，它也引入了重要的硬件开销。在这项工作中，我们提出了一种称为ANT的固定长度自适应数值数据类型，以通过微小的硬件开销实现低位量化。我们的数据类型ANT利用了两项关键创新来利用DNN模型中的张贴内和调整的自适应机会。首先，我们提出了一种特定的数据类型Flint，该数据类型结合了Float和INT的优势，以适应张量中不同值的重要性。其次，我们提出了一个自适应框架，该框架根据其分布特性选择每个张量的最佳类型。我们为蚂蚁设计了统一的处理元件体系结构，并显示其与现有DNN加速器的易于集成。我们的设计导致2.8 $ \ times $速度和2.5 $ \ times $ $ $ $ $ \ times $ $ \ times $ $ \ times $ $ \ times $ $ \ times $ $ \ times $ $ \ times $ $ \ times $比最先进的量化加速器提高了能源效率。

训练后量化（PTQ）由于其在部署量化的神经网络方面的便利性而引起了越来越多的关注。 Founding是量化误差的主要来源，仅针对模型权重进行了优化，而激活仍然使用圆形至最终操作。在这项工作中，我们首次证明了精心选择的激活圆形方案可以提高最终准确性。为了应对激活舍入方案动态性的挑战，我们通过简单的功能适应圆形边框，以在推理阶段生成圆形方案。边界函数涵盖了重量误差，激活错误和传播误差的影响，以消除元素误差的偏差，从而进一步受益于模型的准确性。我们还使边境意识到全局错误，以更好地拟合不同的到达激活。最后，我们建议使用Aquant框架来学习边界功能。广泛的实验表明，与最先进的作品相比，Aquant可以通过可忽略不计的开销来取得明显的改进，并将Resnet-18的精度提高到2位重量和激活后训练后量化下的精度最高60.3 \％。

变压器模型已经取得了有希望的自然语言处理（NLP）任务，包括提取问题应答（QA）。 NLP任务中使用的通用变压器编码器在所有层中处理上下文段落中所有输入令牌的隐藏状态。但是，与序列分类等其他任务不同，应答所提出的问题不一定需要上下文段落中的所有令牌。在此动机之后，我们提出了薄块撇子，这将在更高的隐藏层中略微浏览不必要的上下文，以改善和加速变压器性能。块撇屏的关键概念是识别必须进一步处理的上下文，并且可以在推理期间早期安全地丢弃的语言。批判性地，我们发现这些信息可以充分地从变压器模型内的自我注意重量得出。我们进一步将对应于下层的不必要位置对应的隐藏状态，实现了显着的推理时间加速。令我们惊讶的是，我们观察到这种方式修剪的模型优于他们的全尺寸对应物。 Block-Skim在不同数据集上提高了QA模型的准确性，并在BERT-Base模型上实现了3次加速。

图形神经网络（GNN）代表了在图形结构上运行的深度学习模型的新兴线路。由于其在许多与图形相关任务中实现的高精度，它变得越来越受欢迎。然而，在系统和建筑社区中，GNN在系统和建筑社区中不太了解，作为其对应物，例如多层的感知和卷积神经网络。这项工作试图向我们的社区介绍GNN。与仅呈现GCNS的特征的事先工作相比，我们的工作基于一般GNN描述框架覆盖GNN工作负载的大部分品种。通过构建两个广泛使用的库之上的模型，我们在有关通用和特定于应用程序的架构的推理阶段的特征在于GNN计算，希望我们的工作能够促进更多的系统和建筑研究GNN。

许多机器学习问题可以在估计功能的背景下构成，并且通常是时间依赖的功能，随着观察结果的到来，这些功能是实时估计的。高斯工艺（GPS）是建模实现非线性函数的吸引人选择，这是由于其灵活性和不确定性定量。但是，典型的GP回归模型有几个缺点：1）相对于观测值的常规GP推理量表$ O（n^{3}）$； 2）顺序更新GP模型并非微不足道； 3）协方差内核通常在该函数上执行平稳性约束，而具有非平稳协方差内核的GP通常在实践中使用了很难使用。为了克服这些问题，我们提出了一种顺序的蒙特卡洛算法，以适合GP的无限混合物，这些混合物捕获非平稳行为，同时允许在线分布式推理。我们的方法从经验上改善了在时间序列数据中存在非平稳性的在线GP估计的最先进方法的性能。为了证明我们在应用设置中提出的在线高斯流程混合物方法的实用性，我们表明我们可以使用在线高斯工艺匪徒成功实现优化算法。

Compressed videos often exhibit visually annoying artifacts, known as Perceivable Encoding Artifacts (PEAs), which dramatically degrade video visual quality. Subjective and objective measures capable of identifying and quantifying various types of PEAs are critical in improving visual quality. In this paper, we investigate the influence of four spatial PEAs (i.e. blurring, blocking, bleeding, and ringing) and two temporal PEAs (i.e. flickering and floating) on video quality. For spatial artifacts, we propose a visual saliency model with a low computational cost and higher consistency with human visual perception. In terms of temporal artifacts, self-attention based TimeSFormer is improved to detect temporal artifacts. Based on the six types of PEAs, a quality metric called Saliency-Aware Spatio-Temporal Artifacts Measurement (SSTAM) is proposed. Experimental results demonstrate that the proposed method outperforms state-of-the-art metrics. We believe that SSTAM will be beneficial for optimizing video coding techniques.

As one of the most important psychic stress reactions, micro-expressions (MEs), are spontaneous and transient facial expressions that can reveal the genuine emotions of human beings. Thus, recognizing MEs (MER) automatically is becoming increasingly crucial in the field of affective computing, and provides essential technical support in lie detection, psychological analysis and other areas. However, the lack of abundant ME data seriously restricts the development of cutting-edge data-driven MER models. Despite the recent efforts of several spontaneous ME datasets to alleviate this problem, it is still a tiny amount of work. To solve the problem of ME data hunger, we construct a dynamic spontaneous ME dataset with the largest current ME data scale, called DFME (Dynamic Facial Micro-expressions), which includes 7,526 well-labeled ME videos induced by 671 participants and annotated by more than 20 annotators throughout three years. Afterwards, we adopt four classical spatiotemporal feature learning models on DFME to perform MER experiments to objectively verify the validity of DFME dataset. In addition, we explore different solutions to the class imbalance and key-frame sequence sampling problems in dynamic MER respectively on DFME, so as to provide a valuable reference for future research. The comprehensive experimental results show that our DFME dataset can facilitate the research of automatic MER, and provide a new benchmark for MER. DFME will be published via https://mea-lab-421.github.io.